智慧應用 影音

生成式AI開箱終極攻略：如何在 Amazon SageMaker JumpStart 上探索和微調生成式 AI 模型 Llama 2

  • DIGITIMES / 台北
  • 2024-05-30 10:38:27
Meta 開發的 Llama 2 基礎模型現已在 Amazon SageMaker JumpStart 中提供
Meta 開發的 Llama 2 基礎模型現已透過 Amazon SageMaker JumpStart 提供給客戶進行微調和部署。Llama 2 大型語言模型 (LLM) 家族是一系列預先訓練和微調的生成文字模型，其規模從 70 億到 700 億參數不等。經過微調的 LLM，稱為 Llama-2-chat，已針對對話使用案例進行優化。您可以輕鬆試用這些模型，並透過 SageMaker JumpStart 使用它們，SageMaker JumpStart 是一個機器學習 (ML) 中樞，提供對演算法、模型和 ML 解決方案的存取，讓您可以快速開始使用 ML。本文將逐步介紹如何透過 SageMaker JumpStart 探索、部署和微調 Llama 2 模型。

什麼是 Llama 2

Llama 2 是一種使用優化的 transformer 架構的自回歸語言模型。Llama 2 旨在用於英語的商業和研究用途。它提供一系列參數大小 - 70 億、130 億和 700 億，以及預先訓練和微調的變體。根據 Meta 的說法，經過調整的版本使用監督式微調 (SFT) 和強化學習（）RLHF與人類反饋相結合, 來符合人類對於有用性和安全性的偏好。Llama 2 是在公開可用來源的 2 萬億個token資料上預訓練。經過微調的模型適用於類似助理的聊天，而預訓練模型則可調整用於各種自然語言生成任務。無論開發人員使用哪個版本的模型，Meta 的
關鍵字
大家都在看